2f2dff55573b937e2d5ddf8b9f36a415efeca187
DBMC with hard negatives msmarco and dev set corrected
- challenge
- Passage Retrieval
- submitter
- Maciej
- submitted
- 2022-11-06 20:33:15.625449 UTC
- file basename
- out
test-A / f69019094b3e648677ba43eecfd1c81c7bf9ebcb
| Metric | Score |
|---|---|
| NDCG@10 | 44.90 |
dev-0 / 93f022cdb33c8f8c902de97c9494c0c5fd0527fb
| Metric | Score |
|---|---|
| NDCG@10 | 19.42 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-A NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia Kwartet – to ilu wykonawców? | 235415-0 17326-2 2490065-0 69774-0 17332-1 | 3918577-3 1436689-0 5065938-7 844791-0 5102145-12 14475-8 534535-13 712383-4 3450032-0 1749559-2 | 0.00 |
| 2 | wiki-trivia Jak nazywa się trucizna przyrządzona z korzenia szaleju? | 25098-0 141316-6 5423-11 | 3800566-0 115530-91 5024002-40 1170990-42 1417360-1 3090297-255 2207932-7 115530-117 3854219-0 1385028-34 | 0.00 |
| 3 | wiki-trivia Do którego państwa należą wyspy Rodos i Korfu? | 1743-6 | 49762-0 390445-0 408194-0 529052-1 4533156-0 185945-1 2398559-14 21000-3 1196102-4 5603-1 | 0.00 |
| 4 | wiki-trivia Jak nazywa się jednostka w lotnictwie licząca 2–3 eskadry? | 27859-0 799893-7 799893-14 4518252-4 | 2919882-0 800823-0 187229-17 2631259-6 1367559-7 1529164-13 800068-21 3072851-50 4518252-14 187229-1 | 0.00 |
| 5 | wiki-trivia W którym dniu tygodnia Robinson Crusoe spotkał Piętaszka? | 118590-4 2592188-2 | 1066017-4 158821-6 2395537-29 3895082-0 4794052-1 3540152-25 3091158-6 2516680-7 98607-21 365994-1 | 0.00 |
| 6 | wiki-trivia Jak nazywa się polski okręt bojowy, którym brał udział w II wojnie światowej, a od 40 lat znajduje się w Gdyni? | 4360-0 1932-49 4359-71 387651-2 | 4805651-1 75441-11 210611-15 2942746-2 52174-6 1492531-1 720779-3 2936443-2 179368-26 2794919-7 | 0.00 |
| 7 | wiki-trivia Z którego państwa pochodzi twórca Gadu-Gadu? | 1930-0 435065-0 1885378-1 | 5182180-4 61398-2 538839-2 3344350-1 10935-4 591022-1 757952-14 644532-0 3737870-1 7585-92 | 0.00 |
| 8 | wiki-trivia Jak nazywał się twórca Polskiej Akcji Humanitarnej? | 2733-0 437349-12 4306798-3 4211917-8 | 3959655-3 342577-0 2530954-14 2529014-0 621899-0 670159-0 2851302-9 1751672-18 3126766-20 1104226-5 | 0.00 |
| 9 | wiki-trivia Która zupa jest symbolem rzeczy bardzo taniej? | 2137401-4 | 91188-3 762402-3 1401294-25 4625555-6 339799-0 339801-0 3843238-7 263568-20 3176809-0 4363530-60 | 0.00 |
| 10 | wiki-trivia Z którego kosmodromu startował Jurij Gagarin? | 166906-0 2283748-0 2472693-1 2479587-0 | 2608-8 273806-9 2050780-7 3051603-5 557441-1 1140452-4 847744-1 1447321-10 1951048-6 2608-0 | 0.00 |
| 11 | wiki-trivia Co brzmi w trzcinie w bajce Jana Brzechwy? | 1131585-0 80790-2 | 4910244-6 4849656-4 68085-23 1064750-1 3523559-7 4230239-2 101245-16 4910244-0 1925277-1 1885070-9 | 0.00 |
| 12 | wiki-trivia Jak nazywa się najwyższy masyw górski Sudetów? | 9879-0 | 9536-2 798878-1 1228625-0 8148-0 820592-0 988157-4 553196-0 49979-0 5465-10 85392-0 | 0.00 |
| 13 | wiki-trivia W którym starożytnym mieście budowano wieżę Babel? | 10168-12 13187-9 1861864-1 | 4308133-0 22767-25 25735-27 10168-27 10168-0 1868343-11 454141-6 3369834-0 1868343-0 10168-15 | 0.00 |
| 14 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 354435-4 3319458-0 3545645-0 2128845-4 1790523-2 593677-1 1790523-0 1255946-0 4626999-1 674294-18 | 0.00 |
| 15 | wiki-trivia Z którego państwa pochodzi Stieg Larsson, autor trylogii kryminalnej „Millennium”? | 4446190-0 5018537-0 461434-5 | 2044201-2 2326920-0 1442177-0 3612653-0 2130804-1 4068698-0 815271-8 4800440-1 702691-0 3612653-2 | 0.00 |
| 16 | wiki-trivia Sahara Zachodnia posiada duże złoża miedzi, fosforytów czy uranu? | 220899-2 1300844-0 | 12237-54 278-16 1796283-27 2339751-0 2688179-2 1791819-5 903116-23 1834-101 586597-2 4402262-4 | 0.00 |
| 17 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 403534-3 114745-0 403532-1 1671493-2 5359-2 892212-5 487993-41 24742-3 6111-8 414647-2 | 0.00 |
| 18 | wiki-trivia Jak z łaciny nazywa się ćwiczenie ortograficzne polegające na zapisywaniu tekstu? | 962835-0 | 4729920-1 866511-1 4722724-1 4713848-1 4959563-1 4960515-1 5184365-1 2062522-8 5136170-2 7431-94 | 0.00 |
| 19 | wiki-trivia Który półwysep Azji jest największy? | 105934-0 | 251-11 280-0 6152-5 280-1 45272-15 3698-19 180740-0 4384-1 2013255-8 100-4 | 0.00 |
| 20 | wiki-trivia Jakie łacińskie słowa są wygłaszane po wyborze papieża? | 471697-0 490372-6 18084-11 142774-5 | 142874-59 957879-14 3167905-9 51863-27 4469157-0 19413-153 1182643-4 1727694-2 143269-12 3493855-0 | 0.00 |
| 21 | wiki-trivia Po śmierci jakiego władcy diadochowie podzielili jego królestwo? | 14426-3 16357-0 12797-103 | 44870-3 126843-6 10605-33 23096-22 6243-20 4843378-1 1285063-5 118020-10 454391-1 861339-9 | 0.00 |
| 22 | wiki-trivia W którym roku odbyła się pierwsza próba jądrowa? | 2312943-3 274961-0 1937784-0 1756259-2 4057-3 | 2194-249 2399186-3 4271162-2 2205-26 634015-3 10211-13 70570-13 4846777-5 1361779-2 1944317-4 | 0.00 |
| 23 | wiki-trivia Jak nazywa się autobus elektryczny zasilany z sieci zawieszonej nad drogą? | 65401-0 | 174632-4 5202146-8 1635096-7 332539-3 302839-67 65401-28 45745-0 65924-56 1064517-24 453504-61 | 0.00 |
| 24 | wiki-trivia W którym państwie leżą tzw. Alpy Transylwańskie, czyli Karpaty Południowe? | 172832-0 1662028-0 1065819-0 1263801-11 1653912-0 | 172738-0 843796-6 1324758-1 12159-2 1835943-0 1828649-1 1835943-1 170271-3 2334271-0 1646610-9 | 0.00 |
| 25 | wiki-trivia Jak nazywała się polska organizacja wojskowa, której dowódcami byli generałowie Grot, Bór, Niedźwiadek? | 733800-15 8777-0 27400-0 | 2900593-1 407434-1 2710443-0 2917739-0 450316-2 119320-54 1385846-4 1385991-4 2321871-5 2208733-1 | 0.00 |
| 26 | wiki-trivia Jak chciał dać swojej córce na imię węglarz z filmu „Miś”? | 138277-7 | 3512000-10 5023287-0 18478-22 188853-36 1580271-4 1527128-4 1257544-6 1025697-4 1140055-0 680520-9 | 0.00 |
| 27 | wiki-trivia Jak nazywała się akcja przesiedlenia Ukraińców z 1947 r.? | 20338-0 785771-2 20297-4 929707-2 968749-0 | 360609-19 76561-21 546766-88 360609-20 1326878-16 23992-125 546766-86 1826361-10 651828-55 1826361-0 | 0.00 |
| 28 | wiki-trivia Jakim skrótem literowym oznacza się osobę o nieustalonej tożsamości? | 938989-0 57033-0 4162956-0 1249108-11 | 5135847-1 1594697-1 165798-3 164549-0 4238160-1 1083986-5 4509400-11 3634334-18 985192-6 853331-67 | 0.00 |
| 29 | wiki-trivia Jak z francuskiego określamy okulary, które trzymają się tylko na nosie? | 1202545-0 | 2798004-9 2910467-14 3958651-9 5061280-14 121272-7 520544-1 5176722-7 5043401-14 1149221-17 3061299-1 | 0.00 |
| 30 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 425167-1 4729347-3 4170322-3 4761809-3 4744199-3 4772128-3 4762030-3 4742459-3 1658867-203 1843090-12 | 0.00 |
| 31 | wiki-trivia Jaki był najwyższy nominał obecny w obiegu przed denominacją w 1995 roku? | 2148595-1 | 1418508-339 2148595-2 545161-9 2048728-5 318254-6 4607596-17 4412810-9 4752294-3 1655928-0 4285521-9 | 0.00 |
| 32 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 539129-6 61424-64 24654-3 3272280-47 3313151-26 875-20 143094-17 43681-5 43681-4 496315-12 | 0.00 |
| 33 | wiki-trivia Który amerykański prezydent uczestniczył w konferencji pokojowej w Jałcie? | 25733-0 2261468-0 | 685822-2 173835-2 1385539-5 1038508-5 1578632-4 3635382-3 4103463-0 14088-30 93103-26 107300-5 | 0.00 |
| 34 | wiki-trivia Z którego kontynentu pochodzą papużki nierozłączki? | 1507283-2 | 1648172-0 4504996-0 1938663-0 4815907-1 4334-12 985353-5 5165030-1 11900-1 649305-3 4916088-3 | 0.00 |
| 35 | wiki-trivia Jak nazywała się dawna rezydencja cesarska w Pekinie? | 74254-0 95568-1 | 1420761-2 2070144-0 1255076-2 1955390-21 5047935-0 2270088-2 2866254-1 1717791-2 1906468-0 647732-4 | 0.00 |
| 36 | wiki-trivia Jaką nazwę noszą połączone izby Sejmu i Senatu RP? | 2462290-5 589110-0 33023-0 189807-44 3039370-2 | 202183-30 1056812-0 2462290-4 2462290-3 3574201-14 189807-31 7710-106 3039370-0 1405095-4 5754-14 | 0.00 |
| 37 | wiki-trivia Jak nazywa się na statku oficer zajmujący się sprawami gospodarczymi? | 558647-0 558647-1 | 915081-4 837405-8 5195542-7 391783-28 1575402-10 837036-16 1266-0 1092143-238 523776-1 1272976-0 | 0.00 |
| 38 | wiki-trivia Kto jest autorem wiersza o Słoniu Trąbalskim? | 23626-20 1757856-4 4439842-4 | 1513432-8 1993348-33 800-88 3639578-0 2707359-0 1576833-5 302381-10 1727820-2 767459-5 231523-9 | 0.00 |
| 39 | wiki-trivia Jak nazywa się jadalnia dla załogi na statku? | 16828-0 | 1157112-13 21890-2 2722050-4 4342-216 963842-4 3796724-8 391783-0 8732-2 25511-0 4748996-2 | 0.00 |
| 40 | wiki-trivia Jak nazywał się pancernik, który rozpoczął II wojnę światową? | 14103-0 1815538-17 2304-13 89007-6 3241-119 | 371455-8 2698175-5 1852447-8 10493-9 3296260-0 2784873-3 3752569-2 2994625-2 3179922-1 144556-11 | 0.00 |